#black-box LLM

3 篇

Stepwise-Querying: Distilling Reasoning without Access to Teacher Chain-of-Thought

逐步查询：无教师思维链访问下的推理蒸馏

🧭 LLM 推理蒸馏 · 黑盒 query 细化

Institute of AI and Future Network, Beijing Normal University

黑盒教师下用逐步独立查询蒸馏推理，无需 CoT，14/16 对比最优

📌 工作参考价值（4 点）

黑盒大模型 API 做推理蒸馏：不要只拿 final answer/brief solution，把任务拆成单步 derivation、validity check、correction 多轮 query，再拼装 SFT；业务侧拿不到 teacher CoT 权限也能做小模型推理增强。
数据过滤别只按 final answer：答案错误但中间推理有效的轨迹可保留，尤其适合商品属性抽取、query 改写逻辑、广告文案生成等任务；可用 frozen student 对正确中间步骤的 log-ratio（类似 SEIG）评估哪些 step 仍有信息增益。
拆解粒度要控成本：逐步 query 有收益但过度分解收益有限，工程上优先拆到关键推导与校验，避免过多 query 调用和延迟。
对 Agent 规划训练可复用：若用大模型生成多步决策轨迹，可把每步 decision/check/修正作为独立 query 组装成微调数据，提升小模型规划稳定性。

Training | 2026-10-30 | cs.CL | score 7/10

Pinocchio：黑盒语言模型的快速不确定性估计

🧭 黑盒LLM不确定性估计 · 外部校准器

University of Maryland · Ritual AI · Fudan University · Columbia University

用外部校准器仅凭文本输出预测黑盒LLM回答的正确性，无需logits或微调

📌 工作参考价值（4 点）

在Agent/LLM工作流中部署轻量外部校准器（如Pinocchio）作为gate，对LLM生成的推荐理由、商品描述、搜索query改写结果做正确性/可靠性打分，低于阈值触发人工审核或fallback策略。
该方法只依赖文本输出，兼容闭源API（GPT/Claude等），适合电商环境中大量使用第三方LLM的场景；无需模型内部access，降低接入成本。
跨模型零样本迁移结果表明，可在内部用少数模型标注数据训练一个通用不确定性估计器，直接应用于新模型或外部模型，降低维护成本。
0.8B文本模型即可达到大模型AUROC，意味着可部署在CPU或边缘侧，适合在线实时过滤，不影响主链路延迟。

Eval | 2026-09-21 | cs.AI | score 7/10

黑盒大语言模型的改进置信度估计

🧭 LLM 不确定性量化与部署安全

Layer 6 AI · TD Insurance

利用评估数据集训练简单分类器，以现有 UQ 分数和相似查询正确性为特征，提升黑盒 LLM 置信度估计。

📌 工作参考价值（3 点）

在电商搜索/推荐的 LLM 应用（如 query 改写、商品卖点生成、客服自动回复）中，可在部署前利用积累的标注反馈数据（正确/错误）训练一个轻量置信度分类器，将现有 UQ 分数（如 verbalized confidence、语义熵）作为输入特征，低成本实现自动审核与风险拦截。
相似查询的正确性作为特征，可通过 kNN 在已有标注数据中快速检索得到，适合线上实时服务；不依赖模型内部 logits 或白盒访问，可直接用于 OpenAI、Claude 等黑盒 API。
结论：不要只依赖单一零样本 UQ 分数，利用少量标注数据做特征融合能稳定提升置信度区分能力，适合作为 Agent 系统中 LLM 输出的 guardrail。

LLM | 2026-08-19 | stat.ML | score 7/10